AI 代理擅自批准百萬退款？AWS AgentCore Policy 如何毫秒級攔截 AI 危險行為？

DIGITIMES / 台北
2025-12-12 00:00:00

一家 SaaS 公司剛將 AI 客服代理部署到生產環境，原本預期它能自動處理退款申請、加速客戶服務流程。然而，上線第三天，財務部門發現一筆異常：AI 代理在深夜批准了一筆 5 萬美元的退款請求，而公司政策明確規定超過 1,000 美元的退款必須人工審核。更糟的是，團隊花了兩天時間追查日誌，才找到問題根源——AI 代理在理解客戶訴求時，誤判了退款的「合理性」，繞過了原本設計的檢查機制。

這不是孤立案例。當 AI 代理被賦予更多自主權——從存取資料庫、呼叫 API、到執行業務邏輯——它們的「能力」與「風險」同步攀升。傳統的「透過提示詞約束行為」已不足以應對生產環境的複雜性，企業需要的是一套能在代理程式碼之外、即時且確定性地控制代理行為的機制。AWS Amazon Bedrock AgentCore 推出的 Policy in AgentCore 正是為了解決這個問題：讓團隊用自然語言定義政策 (如「禁止超過 1,000 美元的退款」)，並在毫秒級內攔截違規行為，確保 AI 代理在自主運作的同時，始終遵守企業規範。

為何 AI 代理的自主性讓企業不安？

AI 代理不是聊天機器人：它們會「採取行動」

傳統的 AI 聊天機器人只會回答問題，但現代的 AI 代理 (AI Agents) 能夠執行多步驟任務——呼叫內部 API、存取 Salesforce 或 Slack、修改資料庫記錄、甚至觸發財務交易。這種「自主行動能力」讓 AI 代理能真正為企業創造價值，但也帶來前所未有的風險：它們可能存取不該看的敏感資料、執行未經授權的操作、或在判斷錯誤時造成業務損失。

「小心提示」不足以應對生產環境

許多團隊試圖透過精心設計的提示詞 (Prompt Engineering) 來約束 AI 代理行為，例如在系統提示中加入「你不應該批准超過 1,000 美元的退款」。然而，這種方法有三個根本性問題：第一，AI 模型的推理過程不可預測，即使提示再完善，仍可能在特定情境下做出違背規則的判斷。第二，提示詞存在於代理程式碼內部，缺乏獨立的監督機制，無法提供「信任但驗證」(Trust but Verify) 的保障。第三，當企業有數十個 AI 代理、數百條業務規則時，把所有約束都寫進提示詞會讓系統變得難以維護且容易出錯。

Druva 的痛點：數小時的事後追查

Druva 是領先的資料安全解決方案供應商，他們的客戶在資料備份失敗時，原本需要花費數小時手動檢查數十個系統的日誌，才能找到問題根源。當 Druva 部署 AI 代理來自動化這個流程時，他們面臨一個新挑戰：如何確保 AI 代理只能存取授權的備份系統、安全日誌與監控儀表板，而不會誤觸生產資料或執行高風險操作？傳統的事後稽核 (Post-Audit) 模式無法滿足需求——企業需要的是「即時攔截」，而非「事後補救」。

Policy in AgentCore：在代理程式碼外設定邊界

什麼是 Policy in AgentCore？

Policy in AgentCore 是 Amazon Bedrock AgentCore 的新功能，讓企業能用自然語言或 Cedar 開源政策語言定義 AI 代理的行為邊界。這些政策規則在代理程式碼之外運作，當 AI 代理嘗試呼叫工具 (Tool)——無論是 AWS Lambda 函數、Model Context Protocol (MCP) 伺服器、或第三方服務如 Salesforce 與 Slack——Policy 會即時檢查這些動作是否符合定義的規則，並在違規時主動攔截。

「Trust but Verify」的設計哲學

Policy in AgentCore 遵 Amazon 的「信任但驗證」原則：開發團隊可以給予 AI 代理廣泛的工具存取權限，讓它們自主完成任務，但同時透過政策層確保代理永遠在定義的邊界內運作。這種設計哲學有三個核心價值：第一，開發者能專注於創新，而非擔心代理失控。第二，安全與合規團隊能獨立管理政策，無需修改代理程式碼。第三，當業務規則變更時 (如退款上限從 1,000 美元調整為 1500 美元)，只需更新政策而非重新部署整個代理系統。

從自然語言到可執行政策

Policy in AgentCore 最突破性的功能是自然語言政策編寫 (Natural Language Policy Authoring)。團隊不需要學習複雜的政策語法，只需用接近日常對話的方式描述規則，例如：「Block all refunds from customers when the reimbursement amount is greater than $1,000」 (當退款金額超過 1,000 美元時，拒絕所有客戶退款請求)。系統會自動將這段自然語言轉換為 Cedar 政策程式碼，並透過自動推理 (Automated Reasoning) 驗證政策的安全性——識別過於寬鬆、過於嚴格、或永遠無法滿足的條件，確保政策能正確執行。

毫秒級攔截：整合 AgentCore Gateway 的即時檢查

AgentCore Gateway：政策執行的關鍵節點

Policy in AgentCore 的即時性來自於與 AgentCore Gateway 的深度整合。AgentCore Gateway 是所有 AI 代理工具呼叫的統一閘道，當代理嘗試執行動作時 (如呼叫退款 API)，請求會先經過 Gateway，此時 Policy 引擎會在毫秒級內檢查該動作是否違反定義的規則。這種「攔截式」架構確保違規行為在執行前就被阻止，而非事後才發現問題——對於涉及財務交易、資料修改或外部 API 呼叫的場景，這種即時性至關重要。

政策檢查不影響代理速度

「毫秒級」的檢查速度意味著政策控制不會成為系統瓶頸。即使企業定義了數十條複雜的政策規則 (如「只允許經理角色批准超過 500 美元的退款」「禁止在非工作時間存取客戶敏感資料」)，Policy 引擎仍能在極短時間內完成驗證，讓 AI 代理保持快速且流暢的使用者體驗。這對於需要即時回應的應用場景——如客服對話、訂單處理、或故障排除——尤其重要，企業不必在「安全性」與「效能」之間妥協。

日誌與稽核模式：先測試再強制執行

Policy in AgentCore 支援兩種執行模式：日誌模式 (Log-only) 與強制執行模式 (Enforce)。在部署新政策時，團隊可以先啟用日誌模式，觀察 AI 代理的實際行為是否會觸發規則、是否有誤判情況，再決定是否切換到強制執行模式。這種漸進式部署策略降低了政策上線的風險，讓團隊能在不影響生產環境的前提下，驗證政策的正確性與有效性。

自然語言寫政策：從「禁止超過 1,000 美元退款」開始

自然語言政策的實際範例

讓我們看一個實際的政策範例。假設你的客服 AI 代理整合了退款處理工具 RefundTool__process_refund，你希望限制只有擁有 refund-agent 角色的使用者才能呼叫這個工具，且退款金額不得超過 200 美元。在 Policy in AgentCore 中，你可以用自然語言描述：「Only users with the refund-agent role can process refunds, and the refund amount must be less than $200.」系統會將其轉換為 Cedar 政策程式碼，並自動驗證這條規則是否與其他政策衝突、是否包含無法滿足的條件。

Cedar 開源政策語言的精細控制

雖然自然語言政策編寫降低了入門門檻，但對於需要更精細控制的企業，Policy in AgentCore 也支援直接編寫 Cedar 政策程式碼。Cedar 是由 AWS 開發的開源政策語言，專為細粒度權限控制設計。例如，你可以定義一條政策：只有在「使用者的 OAuth JWT Token 包含 role 標籤且值為 refund-agent」且「退款金額 (context.input.amount) 小於 200 美元」時，才允許呼叫退款工具。這種程式化的政策語言讓你能精確控制代理行為，涵蓋複雜的業務邏輯與安全需求。

自動推理：避免政策錯誤

Policy in AgentCore 最強大的功能之一是自動推理安全性檢查。當你定義一條新政策時，系統會透過數學證明 (Mathematical Proof) 驗證該政策是否存在邏輯錯誤——例如，政策規則過於寬鬆導致代理能執行不該執行的動作、過於嚴格導致正常操作也被攔截、或包含永遠無法滿足的條件 (如「退款金額同時大於 1,000 且小於 500」)。這種自動驗證機制讓非技術團隊也能安心編寫政策，而不必擔心因語法錯誤或邏輯矛盾導致系統故障或安全漏洞。

政策引擎與工具生態：支援 Lambda、MCP Server 與第三方服務

統一控制所有工具類型

Policy in AgentCore 的政策規則適用於所有類型的工具，無論 AI 代理呼叫的是 AWS Lambda 函數、Model Context Protocol (MCP) 伺服器、或第三方服務如 Salesforce 與 Slack。這種「工具無關」的設計讓企業能用一套統一的政策框架管理整個代理生態系，而非為每種工具類型建立獨立的控制機制。當你的 AI 代理需要整合 10 種不同的內部與外部工具時，這種統一性大幅簡化了治理流程。

MCP Server 的政策支援

Model Context Protocol (MCP) 是 Anthropic 推出的開放標準，讓 AI 代理能以標準化方式存取各種資料源與工具。Policy in AgentCore 原生支援 MCP Server，意味著當你的代理透過 MCP 呼叫工具時，政策規則會自動套用。例如，如果你的 MCP Server 提供「讀取客戶資料」與「修改訂單狀態」兩個工具，你可以定義政策：「客服角色只能讀取資料，主管角色才能修改訂單狀態」，確保權限分離 (Separation of Duties) 原則得到落實。

與現有 IAM 系統整合

Policy in AgentCore 的政策檢查可以引用使用者的身份資訊——例如從 OAuth JWT Token 中提取角色、部門或權限標籤——並結合這些資訊進行精細化的存取控制。這讓政策能與企業現有的 AWS Identity and Access Management (IAM) 系統或第三方身份提供者 (Identity Provider) 整合，實現「以身份為基礎的政策」(Identity-based Policy)。例如，你可以定義：「只有財務部門的使用者才能批准超過 5000 美元的採購請求」，讓 AI 代理的行為與企業的組織架構與權限模型保持一致。

Druva 的實際應用：從數小時到即時分析

Druva 如何使用 Policy in AgentCore

Druva 的客戶在資料備份失敗時，原本需要花費數小時手動檢查數十個系統的日誌——包含備份系統、安全日誌、監控儀表板等——才能找到問題根源並進行修復。透過部署 AI 代理，Druva 能即時分析這些日誌並提供逐步修復建議，大幅縮短問題解決時間。然而，這些 AI 代理需要存取高度敏感的系統資料，Druva 必須確保代理只能在明確授權的範圍內運作，避免誤觸生產資料或執行高風險操作。

Policy 確保代理遵守合規邊界

Druva 的產品副總 David Gildea 表示：「Policy in AgentCore 讓我們的客戶能為代理設定清晰的邊界，定義哪些內部工具與資料 (如備份系統、安全日誌、監控儀表板) 可以被存取。有了適當的政策保護，我們的開發者能放心創新，因為他們知道代理會始終遵守定義的合規邊界。這讓我們能擴展代理平台的功能，同時維持企業客戶期望的嚴格安全標準。」這段話道出了 Policy in AgentCore 的核心價值：讓創新與安全並行，而非互相妥協。

從「事後稽核」到「即時防護」

在使用 Policy in AgentCore 之前，Druva 的合規檢查主要依賴事後稽核——定期檢視 AI 代理的操作日誌，確認是否有違規行為。然而，這種方式有兩個問題：第一，當發現違規時，損害可能已經造成 (如誤刪資料或洩露敏感資訊)。第二，稽核流程耗時耗力，難以即時回應業務變化。透過 Policy in AgentCore，Druva 將檢查機制前移到代理執行前，實現「即時防護」而非「事後補救」，大幅降低了風險暴露的時間窗口，也減輕了合規團隊的負擔。

誰應該使用 Policy in AgentCore？

四類最適合的企業

第一類：已部署 AI 代理但擔心失控風險的企業。如果你的 AI 代理能執行敏感操作 (如財務交易、資料修改、API 呼叫)，但你擔心它們可能做出違背業務規則的判斷，Policy in AgentCore 能提供一層獨立的安全網，確保代理始終在定義的邊界內運作。

第二類：受監管產業需要嚴格合規控制的企業。金融、醫療、保險等產業對資料存取與操作有嚴格的法規要求，Policy in AgentCore 的可稽核性與確定性控制讓你能向稽核員證明「AI 代理的行為永遠符合規範」，降低合規風險。

第三類：需要快速迭代但不願犧牲安全的新創團隊。新創企業追求快速創新，但安全性不容妥協。Policy in AgentCore 的自然語言政策編寫與日誌模式讓你能快速定義規則、驗證效果，而毫秒級的檢查速度確保政策不會拖慢產品迭代速度。

第四類：有數十個 AI 代理需要統一治理的大型組織。當企業部署數十個 AI 代理 (如客服、訂單處理、庫存管理、財務審核)，每個代理都有不同的工具與權限需求，Policy in AgentCore 的集中式政策管理讓你能用統一框架治理整個代理生態系，避免各自為政導致的安全漏洞。

評估檢查清單

在決定是否採用 Policy in AgentCore 之前，可以問自己這些問題： □ 我們的 AI 代理是否能執行影響業務的關鍵操作 (如財務、資料、API)？ □ 我們是否擔心代理可能做出違背業務規則或合規要求的判斷？ □ 我們是否需要獨立於代理程式碼的政策控制機制？ □ 我們是否希望非技術團隊 (如合規、業務) 也能參與政策定義？ □ 我們是否需要即時攔截違規行為，而非事後稽核？

如果以上問題有三個以上的答案是「是」，Policy in AgentCore 很可能能為你的組織帶來顯著價值。

不適合的場景

Policy in AgentCore 不是所有場景的最佳選擇。如果你的 AI 代理只用於低風險的任務 (如回答常見問題、提供建議)，且不涉及任何敏感操作或資料存取，那麼透過提示詞約束行為可能已經足夠，不必引入額外的政策層。此外，如果你的團隊規模極小 (如只有 2-3 人)，且代理數量也很少 (如 1-2 個)，Policy in AgentCore 的治理價值可能不如大型組織明顯——在這種情況下，簡單的程式碼審查與手動測試可能更符合成本效益。

Policy in AgentCore 的推出標誌著 AI 代理從「實驗性工具」邁向「生產級系統」的關鍵一步。當 AI 代理被賦予更多自主權——從存取資料庫到執行業務邏輯——企業需要的不是更複雜的提示詞，而是一套能在代理程式碼之外、即時且確定性地控制代理行為的機制。透過自然語言政策編寫、毫秒級的 AgentCore Gateway 整合、以及 Cedar 開源政策語言的精細控制，Policy in AgentCore 讓企業能放心釋放 AI 代理的潛力，同時確保它們永遠在定義的邊界內運作。對於像 Druva 這樣的企業而言，這不僅僅是技術升級，更是從「擔心失控」到「信任但驗證」的思維轉變——讓創新與安全真正並行。

進一步了解或尋求專業建議

若您想深入了解如何為企業的 AI 代理建立完整的政策治理框架，或評估 Policy in AgentCore 是否適合您的使用場景，歡迎聯絡 AWS 台灣團隊，我們的解決方案架構師將協助您設計最適合的部署策略。

無法去拉斯維加斯親自體驗？歡迎報名參與Best of AWS re:Invent (AWS 雲端科技發表會) 線上參與，一樣精彩！https://go.aws/48uR2Tx

參考資料

關鍵字